[アップデート]Amazon AthenaでS3 Glacierの復元されたデータにクエリできるようになりました

Athenaから復元されたGlacier Flexible RetrievalとGlacier Deep Archiveへクエリできるようになりました

#AWS

#Amazon Athena

#S3 Glacier

niino

2023.06.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

データアナリティクス事業本部インテグレーション部コンサルティングチーム・新納（にいの）です。

2023/6/29、Amazon Athenaのアップデートが発表されました。S3 Glacierの復元されたオブジェクトにクエリできるようになりました。

設定もテーブルプロパティを追加するだけで完了しますので、さっそく試してみました。

制限事項と考慮ポイント

Athenaのエンジンバージョンが3に設定されている必要があります。
Apache Hive tablesにのみ対応しています。
クエリする前にGlacierのオブジェクトを復元しておく必要があります。
Glacier Flexible RetrievalとS3 Glacier Deep Archiveで利用可能です。
- Amazon S3 Glacier Instant Retrievalは従来通りAthenaでクエリ可能
テーブル単位での設定が必要となります。

テーブルプロパティを指定せずクエリするとどうなるの？

本機能を利用するためにはテーブルプロパティに'read_restored_glacier_objects' = 'true'を設定します。

この設定をせずにクエリを試してみましょう。今回は検証用にストレージクラスがスタンダードのテストデータを準備しました。Athenaでは以下のようにクエリできます。

ここで、ストレージクラスをGlacier Flexible Retrievalに変更します。

Athenaでクエリすると、結果なしとなってしまいました。

Glacierのオブジェクトにクエリする

ここからは上記のテーブルをクエリできるように設定していきます。

オブジェクトを復元する

まずはアーカイブされたオブジェクトの復元をします。S3オブジェクトを選択してアクション→「復元を開始」から実施します。

復元ができたかどうかはファイル名をクリックして詳細を表示すると確認できます。

テーブルプロパティを追加する

復元を待ってる間にテーブルプロパティを追加していきましょう。前述の通り、テーブルプロパティに'read_restored_glacier_objects' = 'true'を設定することで本機能が利用できるようになります。方法は以下の3通りです。

Amazon Athena

AthenaでALTER TABLEを実行する方法です。以下のクエリを実行します。

ALTER TABLE <テーブル名>
SET TBLPROPERTIES ('read_restored_glacier_objects' = 'true');

実行後、SHOW CREATE TABLEを実行してDDLを確認すると、TBLPROPERTIES句に設定が反映されていることが確認できます。

CREATE EXTERNAL TABLE `glacier_dataset`(
:
:
TBLPROPERTIES (
  'CrawlerSchemaDeserializerVersion'='1.0', 
  'CrawlerSchemaSerializerVersion'='1.0', 
  'UPDATED_BY_CRAWLER'='niino-glacier-querying-test', 
  'areColumnsQuoted'='false', 
  'averageRecordSize'='70', 
  'classification'='csv', 
  'columnsOrdered'='true', 
  'compressionType'='none', 
  'delimiter'=',', 
  'last_modified_by'='hadoop', 
  'last_modified_time'='1688105991', 
  'objectCount'='1', 
  'read_restored_glacier_objects'='true', 
  'recordCount'='5150', 
  'sizeKey'='360522', 
  'skip.header.line.count'='1', 
  'transient_lastDdlTime'='1688105991', 
  'typeOfData'='file')

Glue Data Catalog

GlueのマネジメントコンソールからData Catalogにアクセスし、テーブルを直接編集する方法です。

対象のテーブルを選択し、ActionからEdit Tableを選択します。

Table propertiesのセクションにて、AddボタンからKeyに'read_restored_glacier_objects'を、Valueにtrue を指定します。

AWS CLI

AWS Glueのupdate-tableコマンドを使ってCLIでもテーブルプロパティの追加が可能です。

update-table — AWS CLI 2.12.5 Command Reference

以下はCloudShellで実行した際の一例です。

[cloudshell-user@ip-10-4-80-53 ~]$ aws glue update-table \
    --database-name <データベース名> \
    --table-input='{"Name":"<テーブル名>","Parameters":{"read_restored_glacier_objects":"true"}}'